EvoEmbedding: Evolvable Representations for Long-Context Retrieval and Agentic Memory
EvoEmbedding：可进化的表示模型，解决长上下文检索与Agent记忆动态匹配
🧭 可进化嵌入 · 长上下文检索与Agent记忆 ★ 深度解读
Nanjing University
通过FIFO潜在记忆队列实现可进化的上下文感知嵌入，在长上下文检索和Agent记忆任务上大幅超越静态大模型
📌 工作参考价值（4 点）
- 用户行为序列的动态嵌入：电商场景中，同一用户在不同时段对同一query的意图不同（如“耳机”先浏览后比价），EvoEmbedding的可进化表示可压缩历史上下文，使召回/排序阶段感知时序变化，避免检索过时信息。可直接用其FIFO潜在记忆队列增量更新用户状态，嵌入维度仅1024，开销低。
- 多LoRA解耦训练与无损切换：将记忆更新和表示生成拆分为两个LoRA适配器，基座LLM参数冻结，既避免了灾难性遗忘，又可在推理时按需激活。业务中可借鉴为同一个基座模型同时具备记忆压缩和检索嵌入能力，省去额外部署专用嵌入模型。
- 长度加权对比损失：对于电商长序列（如用户全生命周期行为），正负样本数量差异极大且长度悬殊。论文的log(N+1)自适应校准因子可稳定训练，避免模型偏向短序列，值得直接移植到用户长序列表示学习。
- Segment-Batching加速技巧：将多个连续片段拼接后并行编码，训练提速3.8倍且性能小幅提升。在处理用户流水数据时，可按时间窗口并行化，平衡效率与效果。